我们考虑从原始数据学习自由形式符号表达的问题，例如由任何科学域的实验产生的。精确和可解释的科学现象模型是科学研究的基石。简单但可诠释的模型，例如线性或逻辑回归和决策树通常缺乏预测的准确性。或者，精确的黑箱模型，如深神经网络，提供了高的预测精度，但不容易承认以丰富的这种现象理论的方式承认人类的理解。科学的许多巨大突破围绕着高预测准确性的扩大公正模型的发展，如牛顿的法律，普遍引力和麦克斯韦方程式。以前的工作是自动化从数据中搜索公正模型，结合了域特定启发式，以及计算昂贵的技术，例如遗传编程和蒙特卡罗搜索。我们开发一个深度神经网络（MACSYMA），以解决符号回归问题作为端到端的监督学习问题。 MacSyma可以生成描述数据集的符号表达式。任务的计算复杂性降低到神经网络的前馈计算。我们在由不同长度和不同噪声水平的数据表上培训我们的神经网络，其中神经网络必须学习通过令牌生成正确的符号表达式令牌。最后，我们通过在行为科学的公共数据集上运行来验证我们的技术。

对行人行为的预测对于完全自主车辆安全有效地在繁忙的城市街道上驾驶至关重要。未来的自治车需要适应混合条件，不仅具有技术还是社会能力。随着更多算法和数据集已经开发出预测行人行为，这些努力缺乏基准标签和估计行人的时间动态意图变化的能力，提供了对交互场景的解释，以及具有社会智能的支持算法。本文提出并分享另一个代表数据集，称为Iupui-CSRC行人位于意图（PSI）数据，除了综合计算机视觉标签之外，具有两种创新标签。第一部小说标签是在自助式车辆前面交叉的行人的动态意图变化，从24个司机中实现了不同的背景。第二个是在估计行人意图并在交互期间预测其行为时对驾驶员推理过程的基于文本的解释。这些创新标签可以启用几个计算机视觉任务，包括行人意图/行为预测，车辆行人互动分割和用于可解释算法的视频到语言映射。发布的数据集可以从根本上从根本上改善行人行为预测模型的发展，并开发社会智能自治车，以有效地与行人进行互动。 DataSet已被不同的任务进行评估，并已释放到公众访问。

Quantifying the deviation of a probability distribution is challenging when the target distribution is defined by a density with an intractable normalizing constant. The kernel Stein discrepancy (KSD) was proposed to address this problem and has been applied to various tasks including diagnosing approximate MCMC samplers and goodness-of-fit testing for unnormalized statistical models. This article investigates a convergence control property of the diffusion kernel Stein discrepancy (DKSD), an instance of the KSD proposed by Barp et al. (2019). We extend the result of Gorham and Mackey (2017), which showed that the KSD controls the bounded-Lipschitz metric, to functions of polynomial growth. Specifically, we prove that the DKSD controls the integral probability metric defined by a class of pseudo-Lipschitz functions, a polynomial generalization of Lipschitz functions. We also provide practical sufficient conditions on the reproducing kernel for the stated property to hold. In particular, we show that the DKSD detects non-convergence in moments with an appropriate kernel.

The advent of Federated Learning (FL) has ignited a new paradigm for parallel and confidential decentralized Machine Learning (ML) with the potential of utilizing the computational power of a vast number of IoT, mobile and edge devices without data leaving the respective device, ensuring privacy by design. Yet, in order to scale this new paradigm beyond small groups of already entrusted entities towards mass adoption, the Federated Learning Framework (FLF) has to become (i) truly decentralized and (ii) participants have to be incentivized. This is the first systematic literature review analyzing holistic FLFs in the domain of both, decentralized and incentivized federated learning. 422 publications were retrieved, by querying 12 major scientific databases. Finally, 40 articles remained after a systematic review and filtering process for in-depth examination. Although having massive potential to direct the future of a more distributed and secure AI, none of the analyzed FLF is production-ready. The approaches vary heavily in terms of use-cases, system design, solved issues and thoroughness. We are the first to provide a systematic approach to classify and quantify differences between FLF, exposing limitations of current works and derive future directions for research in this novel domain.

这项研究使用来自不同模式的小配对数据实现了描述和动作之间的双向翻译。相互生成描述和动作的能力对于机器人在日常生活中与人类合作至关重要，这通常需要一个大型数据集，该数据集可维护两种模态数据的全面对。但是，配对的数据集构造昂贵，很难收集。为了解决这个问题，本研究提出了一种双向翻译的两阶段培训方法。在提出的方法中，我们训练经常性的自动编码器（RAES），以使用大量非生产数据进行描述和动作。然后，我们对整个模型进行了修订，以使用小配对数据绑定其中间表示。由于用于培训预训练的数据不需要配对，因此可以使用仅行为的数据或大型语言语料库。我们使用由运动捕获动作和描述组成的配对数据集对我们的方法进行了实验评估。结果表明，即使要训练的配对数据量很小，我们的方法也表现良好。每个RAE的中间表示的可视化表明，相似的作用是在簇位置上编码的，并且相应的特征向量很好地排列。

代理因果学习（PCL）是一种使用代理（结构侧信息）对杂交剂的不观察到的混杂性在存在的情况下估算治疗的原因效果的方法。这是通过两阶段回归实现的：在第一阶段，我们模拟治疗和代理之间的关系;在第二阶段，考虑到代理提供的上下文，我们使用该模型来学习治疗对结果的影响。 PCL保证恢复真正的因果效果，但受到可识别条件。我们提出了一种新颖的PCL方法，深度特征代理可变方法（DFPV），用于解决代理，处理和结果是高维度的，并且具有非线性复杂关系，如深神经网络特征所示。我们展示了DFPV在挑战合成基准上的最近最先进的PCL方法，包括涉及高维图像数据的设置。此外，我们表明PCL可以应用于混淆强盗问题的违规策略评估，其中DFPV也表现出具有竞争性的表现。

诸如密度估计和近似贝叶斯推理的统计任务通常涉及具有未知标准化常量的密度。基于分数的方法，包括分数匹配，是流行的技术，因为它们没有规范化常数。虽然这些方法享有理论担保，但有点熟知的事实是，当感兴趣的无通知分配具有分离成分时，它们表现出实际的失效模式 - 它们无法发现分离的组件或识别组件之间的正确混合比例。我们使用简单的分布来展示这些发现，并提出启发式尝试解决这些问题。我们希望在开发新算法和应用程序时引发理论家和从业者的注意。